The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans
谜中谜：测试大语言模型与人类的灵活推理
🧭 LLM 推理 vs 模式匹配评估
Princeton University
用“谜中谜”范式揭示LLM擅长模式匹配而非灵活推理，在需字面理解时仍过度使用创意策略
📌 工作参考价值（4 点）
- 在构建需要灵活推理的 Agent（如电商导购机器人）时，LLM 可能因输入表面形式（如比喻、对仗）而错误触发“创意模式”，可仿照“谜中谜”构造对抗测试集，评估 Agent 能否根据内容切换推理策略。
- 当用 LLM 做查询理解或推荐文案生成时，若输入带有谜语式结构，模型可能过度解读，建议在 prompt 中明确要求按字面理解，或提供 few-shot 示例引导正确推理。
- 该范式提示：评估 LLM 推理能力不能只看标准基准，应设计能区分记忆检索与灵活推理的测试，对依赖 LLM 做决策的推荐系统尤为重要。
- 人类倾向字面解读，LLM 倾向过度创意，可在人机协作中结合两者优势，如让 LLM 生成候选，人类过滤过度创意结果，提升推理准确性。